We tackle the problem of novel class discovery and localization (NCDL). In this setting, we assume a source dataset with supervision for only some object classes. Instances of other classes need to be discovered, classified, and localized automatically based on visual similarity without any human supervision. To tackle NCDL, we propose a two-stage object detection network Region-based NCDL (RNCDL) that uses a region proposal network to localize regions of interest (RoIs). We then train our network to learn to classify each RoI, either as one of the known classes, seen in the source dataset, or one of the novel classes, with a long-tail distribution constraint on the class assignments, reflecting the natural frequency of classes in the real world. By training our detection network with this objective in an end-to-end manner, it learns to classify all region proposals for a large variety of classes, including those not part of the labeled object class vocabulary. Our experiments conducted using COCO and LVIS datasets reveal that our method is significantly more effective than multi-stage pipelines that rely on traditional clustering algorithms. Furthermore, we demonstrate the generality of our approach by applying our method to a large-scale Visual Genome dataset, where our network successfully learns to detect various semantic classes without direct supervision.

大多数（3D）多对象跟踪方法依赖于数据关联的外观提示。相比之下，我们研究了仅通过编码3D空间中对象之间的几何关系作为数据驱动数据关联的线索，我们才能达到多远。我们将3D检测编码为图中的节点，其中对象之间的空间和时间成对关系是通过图边缘上的局部极性坐标编码的。这种表示使我们的几何关系不变到全球变换和平滑的轨迹变化，尤其是在非全面运动下。这使我们的图形神经网络可以学会有效地编码时间和空间交互，并充分利用上下文和运动提示，以通过将数据关联作为边缘分类来获得最终场景解释。我们在Nuscenes数据集上建立了一个新的最先进的方法，更重要的是，我们的方法在不同位置（波士顿，新加坡，Karlsruhe）和数据集（Nuscenes和Kitti）中跨越了我们的方法。

为视频中的每个像素分配语义类和跟踪身份的任务称为视频Panoptic分段。我们的工作是第一个在真实世界中瞄准这项任务，需要在空间和时间域中的密集解释。由于此任务的地面真理难以获得，但是，现有数据集是合成构造的或仅在短视频剪辑中稀疏地注释。为了克服这一点，我们介绍了一个包含两个数据集，Kitti-Step和Motchallenge步骤的新基准。数据集包含长视频序列，提供具有挑战性的示例和用于研究长期像素精确分割和在真实条件下跟踪的测试床。我们进一步提出了一种新的评估度量分割和跟踪质量（STQ），其相当余额平衡该任务的语义和跟踪方面，并且更适合评估任意长度的序列。最后，我们提供了几个基线来评估此新具有挑战性数据集的现有方法的状态。我们已将我们的数据集，公制，基准服务器和基准公开提供，并希望这将激发未来的研究。

尽管近年来对受约束的多目标优化的兴趣日益越来越大，但受约束的多目标优化问题（CMOPS）仍然不令人满意，理解和表征。因此，困难且缺乏正式背景的适当CMOPS的选择。我们通过扩展横向分析来解决该问题，以限制多目标优化。通过采用四种探索性景观分析技术，我们提出了29个景观特征（其中19个是新颖的）来表征CMOPS。然后，这些景观特征用于比较八个常用的人工测试套针对基于物理模型的现实世界问题的最近提出的套件。实验结果表明，人工测试问题未能充分代表一些现实特征，例如目标和约束之间的强负相关性。此外，我们的研究结果表明，所有学习的人工测试套件都具有优缺点，并且不存在“完美”套件。基准设计人员可以使用所获得的结果根据他们想要探索的特征来选择或生成适当的CMOP实例。